Cassandra-Methode: Risiken neuer Technologien früh erkennen

Vergrößern

Viele Technologien bringen nicht nur Nutzen, sondern haben auch negative Konsequenzen. Oft sind diese sogar Teil des Geschäftsmodells. Etwa, wenn es Nutzerinnen und Nutzern schwerfällt, einen bestimmten Social-Media-Kanal zu verlassen, statt immer weiter und weiter zu scrollen. Oder wenn man einer KI selbst persönlichste Fragen und Aufgaben anvertraut und womöglich unbedarft auf deren Ratschläge hört, weil es der App gelingt, menschliches Verhalten zu imitieren, und Nutzende eine Bindung zu ihr aufbauen.

Aber selbst wenn Entwickelnde besten Absichten folgen, sind mögliche unerwünschte Auswirkungen nicht immer im Blick. „Jede Innovation hat auch ihre Kehrseite“, erklärt Professorin Sarah Diefenbach vom Lehrstuhl für Wirtschaftspsychologie und Mensch-Technik-Interaktion. Beispiel Gesundheitsapps: Krankenkassen wollen damit die Gesundheit ihrer Mitglieder stärken. Wird Gesundheit aber per App zum Spiel, das Verhalten misst und Sternchen verteilt, könnte das Gefühl für den eigenen Körper verloren gehen, meint Sarah Diefenbach.

Nachdenken über Schwächen

Vergrößern

„Die negativen Effekte innovativer Technologie kann und sollte man frühzeitig erkennen, um ihnen vorbeugen zu können“, sagt Sarah Diefenbach. Genau hierfür hat die LMU-Psychologin gemeinsam mit LMU-Medieninformatiker Daniel Ullrich die sogenannte Cassandra-Methode entwickelt.

Ziel der spielerischen Reflexionsmethode ist es, mögliche Nebenwirkungen bereits während des Designprozesses sichtbar zu machen. Statt sich enthusiastisch allein auf die Chancen und Nutzen neuer Technologien zu fokussieren, geht es darum, auch über ihre möglichen Schwächen nachzudenken. Die Risiken und Nebenwirkungen, die sie begleiten, in den Blick zu nehmen. Und das Produkt entsprechend besser zu konzipieren.

Benannt ist die Methode nach der Figur aus der griechischen Mythologie, deren Warnungen tragischerweise niemand hören wollte. Auch Jahrtausende später fällt es meist schwer, Kritik anzunehmen. Das kann bei der Entwicklung neuer Technologien weitreichende Folgen haben.

Hier setzt die Cassandra-Methode an. Sie erlaubt es, die kritische Perspektive spielerisch einzunehmen und mögliche negative Folgen systematisch zu analysieren. Am besten funktioniert sie in Teams von drei bis zehn Personen, die sich zu einem halbtägigen Workshop zusammenfinden. In einer Brainstorming-Phase sammeln die Beteiligten möglichst viele denkbare Nebenwirkungen einer Technologie. Dabei arbeiten sie mit Karten, die unterschiedliche Perspektiven vorschlagen, aus denen heraus mögliche Risiken gedacht werden.

So könnte etwa ein „Stalker“ überlegen, wie sich eine App nutzen ließe, um andere Menschen auszuspionieren. Ein „Saboteur“ fragt, wie sich ein System manipulieren lässt. Ein rücksichtsloser „Investor“ denkt darüber nach, wie sich mit einem Produkt möglichst viel Geld verdienen ließe und nimmt dabei auch gravierende negative Folgen in Kauf.

Wie gewichtet man was?

In der anschließenden Bewertungsphase werden die gesammelten Szenarien eingeordnet und unterschiedlich gewichtet: Wie schwer wiegt ein möglicher Schaden? Wie wahrscheinlich ist er? Und was kann man tun, um die Gefahren einzuhegen?

Wie das in der Praxis funktioniert, zeigte beispielhaft ein Workshop mit dem Münchner Startup Ambit – Our Sports. Mitgründer Philipp Tschochohei entwickelte eine App, über die sich Menschen an öffentlichen Orten spontan zum Teamsport verabreden können. Das Projekt wurde an der LMU im Rahmen der EXIST-Gründungsförderung unterstützt.

Die Gründer wollten mithilfe der App in erster Linie Gemeinschaft fördern. „Wir haben überlegt, wie man die Leute zusammen zum Sportplatz bringt“, erinnert sich Tschochohei. „Aber dass Treffen in einer abgelegenen Parkanlage spät am Abend Risiken bergen können und man nicht gern gestalkt wird: Darüber haben wir zuerst nicht ernsthaft nachgedacht.“

Auch für Schülerinnen und Schüler könnte es problematisch sein, sich mit fremden Menschen zum Nachmittagssport zu treffen. „Solche Überlegungen hatte es zwar gegeben“, sagt Tschochohei rückblickend. „Aber es waren keine Arbeitspakete für die Entwicklung daraus entstanden.“ Mithilfe der Cassandra-Methode wurden diese möglichen negativen Aspekte systematisch erfasst und dann auch beim Design berücksichtigt.

Blinder Fleck in der Entwicklung

Dass mögliche Negativfolgen oft übersehen werden, hat unterschiedliche Gründe. Einer davon ist der in der Psychologie vielfach beschriebene sogenannte „Confirmation Bias“: die Tendenz, vor allem Informationen wahrzunehmen, die die eigene Überzeugung bestätigen. Widersprüchliche Hinweise dagegen werden leichter verdrängt.

Hinzu kommt die Begeisterung für die eigene Idee. Entwicklerinnen und Entwickler sind häufig stark technologiegetrieben und überzeugt von ihrer Innovation. Kritik erscheint dann schnell als Hindernis. „Dass jede Lösung auch ein Gift enthält und der Quell neuer Probleme sein kann, hören Ingenieure und Start-up-Gründer gar nicht gern“, sagt Medieninformatiker Daniel Ullrich. „Sie haben da einen blinden Fleck.“

Erst kritisieren, dann bauen

Vergrößern

Dabei zeigt sich in vielen Bereichen, wie wichtig es ist, mögliche Folgen früh mitzudenken. In klinischen Studien etwa müssen ethische Richtlinien eingehalten werden. Dort wird systematisch gefragt, wer Schaden nehmen könnte. In der Technologieentwicklung dagegen dominieren häufig Visionen vom positiven Nutzen – nach dem Motto: erst bauen, später reparieren.

Die Cassandra-Methode versucht, solche blinden Flecken sichtbar zu machen. Sie bringt Teams dazu, bewusst eine Gegenposition einzunehmen und zu fragen: Welche negativen Seiteneffekte könnte eine Technologie haben? Wie könnte sie missbraucht werden? Was passiert, wenn sie auf besonders vulnerable Nutzergruppen trifft?

Diefenbach sieht darin großes Potenzial. Die Methode könnte überall da eingesetzt werden, wo technologische Innovation stattfindet, und Teams in der Produktentwicklung dabei unterstützen, Risiken früh zu erkennen.

„Mögliche negative Konsequenzen einer neuen Technologie benennen und Kritik schon früh einbauen und bei der Entwicklung berücksichtigen“, sagt Diefenbach, „das wäre das Ideal.“ Auf einer Mensch-Technik-Konferenz in Sydney wurde ihre Forschung bereits ausgezeichnet: Cassandra erhielt den Best Paper Award. Jetzt arbeitet das Team daran, die Methode auf einer Website zugänglich zu machen.

Publikation:

Ullrich, D., Bischoff, E. & Diefenbach, S. (2025). The Cassandra Method: Using Dystopian Visions to Inform Responsible HCI Design and Evaluation. In: Proceedings of the 37th Australian Conference on Human-Computer Interaction (OZCHI '25), 505 – 529.


Sarah Diefenbach, Daniel Ullrich: The Cassandra Method: Dystopian Visions as a Basis für Responsible Design. In: Engineering Proceedings 2024.